我们介绍了Sparrow，这是一个寻求信息的对话代理，与提示的语言模型基线相比，训练有素，更有帮助，正确和无害。我们使用从人类反馈中的强化学习来培训我们的模型，以帮助人类评估者判断代理人的行为。首先，为了使我们的代理人更有帮助和无害，我们将良好对话的要求分解为代理人应遵循的自然语言规则，并分别向评估者询问每个规则。我们证明，这种崩溃使我们能够收集对代理行为的更多针对性的人类判断，并允许更有效的规则条件奖励模型。其次，我们的代理商在收集对模型声明的偏好判决时提供了支持事实主张的来源的证据。对于事实问题，麻雀提供的证据支持了78％的时间。比基线比基线更享受麻雀，同时对人类的对抗性探测更具弹性，在探测时只有8％的时间违反了我们的规则。最后，我们进行了广泛的分析，表明尽管我们的模型学会遵守我们的规则，但它可以表现出分布偏见。
translated by 谷歌翻译
大型语言模型会产生类似人类的文本，这些文本推动了越来越多的应用。但是，最近的文献以及越来越多的现实世界观察表明，这些模型可以产生有毒，有偏见，不真实或其他有害的语言。尽管正在进行评估语言模型危害的工作，但要远见卓识转换出可能出现的危害可能会引起严格的基准。为了促进这种翻译，我们概述了六种表征有害文本的方式，这些方法在设计新基准时值得明确考虑。然后，我们将这些特征用作镜头来识别现有基准中的趋势和差距。最后，我们将它们应用于视角API的案例研究，这是一种毒性分类器，被广泛用于HARS基准。我们的特征提供了一块桥梁，可以在远见和有效评估之间转化。
translated by 谷歌翻译
本文旨在帮助构建与大规模语言模型（LMS）相关的风险景观。为了促进负责任的创新的进步，需要深入了解这些模型提出的潜在风险。详细分析了广泛的建立和预期的风险，借鉴了计算机科学，语言学和社会科学的多学科专业知识和文学。我们概述了六个具体风险领域：I.歧视，排除和毒性，II。信息危害，III。误导危害，V.恶意用途，V.人机互动危害，vi。自动化，访问和环境危害。第一个领域涉及陈规定型，不公平歧视，排他性规范，有毒语言和LMS社会群体的绩效。第二个重点侧重于私有数据泄漏或LMS正确推断敏感信息的风险。第三次解决贫困，虚假或误导性信息的风险，包括在敏感域中，以及敲门式风险，如共享信息的信任侵蚀。第四次考虑了试图使用LMS造成伤害的行动者的风险。第五部分侧重于用于支持与人类用户互动的会话代理的LLMS特异性的风险，包括不安全使用，操纵或欺骗。第六六探讨了对不同社会群体或社区可能产生不同影响的环境危害，工作自动化和其他挑战的风险。总的来说，我们审查了21个风险。我们讨论了不同风险的起源点和指向潜在的缓解方法。最后，我们讨论在实施减轻的组织职责，以及协作和参与的作用。我们强调了进一步研究的方向，特别是在扩展工具包时，用于评估和评估LMS中的概述风险。
translated by 谷歌翻译